Mistral NeMo
https://huggingface.co/mistralai/Mistral-Nemo-Base-2407mistralai/Mistral-Nemo-Base-2407
https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407mistralai/Mistral-Nemo-Instruct-2407
https://mistral.ai/news/mistral-nemo/Mistral NeMo
https://gyazo.com/1ac69d4485e7f8c50651d47c7251bda8
Mistral NeMoは、100以上の言語で学習されたTiktokenをベースにした新しいトークナイザー「Tekken」を使用しており、これまでのMistralモデルで使用されていたSentencePieceトークナイザーよりも効率的に自然言語のテキストとソースコードを圧縮します。
ライセンス
Apache 2.0
#Mistral_AI